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Beschreibung : - 1 - 

Erne redundante Anordnung kostenanner Flatten diealsRAID, T 
5 bezeichnetwird i s teineq amm , „ KAID-Speichersystem 

Computersystem wie ein einzige* groi3es PJattenJaufWerk 

Plattenspeicherkaoazitat „m, c • u «ch«nt. Ferner wird ein TeiJ der 

' dieaUfdemReStderS P eich ^apa2itatges P eichert s ind.^ 
redundanten Information kann die Plattenarray im Falle eines A -n 
10 desAnay-Flatteniaufwerks waiter ohne D , eines Ausfails eines Elements 

u" . ltCrohneDateilve ri^arbeitenunderlaubtdi e ' 

naant Arrays of Inexpensive Disks (RAID)" von Dav,-rf ad*. 

Pantatsxnfonrnbonen. Bei Schreibftnktionen auf RAID-Level - W „ ■ „ „ 

Pantatsinformationen werdendadurch h^r^i, ♦ P^cuenaen 

" uaa urcn berechnet, dass das Exkli.*;,, r>r>trr> r» 

P .escnneben. Be,m Lesen von Daten muss auf a!I e N Datenn/^ 
werd e n.DieParitatsp]atted[ent 2 um R i ' a "e N DatenpJatten zugegnffen 

dcent 2um Rekonstru.eren von !nfor m ationen i m FaJIe eines ' 



Plattenausfalis. 

Eta System auf RAID-Level 2 is, ahnlieh wie die oben besehnebenen Systeme «f 
RAID-Level 3, beinhahetjedoch zusauliche redundante PW» zum Identifizieren von 

Plattenlaufwerksausfallen. _ 
5 Systeme auf RAID-Level 4 aetzen sich ebenfalls aus einer oder mehreren Gruppen 

von NH Flatten —en, wobei N Flatten zum Speichem von Daten vervrende, werden 
md die anyone Plane zum Speiehen, von FazMtsinfotmaoonen dient. Systeme auf 
RAID-Level 4 untetscbeiden sich von Systemen auf RAID-Level 3 dadureh, dass zu 
speichemde Daten in gronere Portionen unterteilt warden, die aus einem Oder velett 
10 Datenbldoken besteben, die auf den Flatten gespeieher, warden, Schreibvorgange erfordem 

AhnHcherfordemLesevorgangetypischervreisenurZugrifraufemeeinzigederN 
Datenplatten.es sei dene, die zulesenden Daten Oberachreiten die auf jeder Plane 
gaspeieherte Bloeklange. Wie bei Systemen auf RAID-Level 3, dien, die Parrtarsplatte zum 
15 Rakonsttuieren von Wormationen ta Falle aines Plattenausfalis. ^ 

RAID-Level 5 1st RAID-Level 4 ahnlieh, mit der Auanahme, dass zusatzhch zu den 
Daten Pariffltsinformationen uber dieN + l Platten in jeder Gruppe verteil, tverdan. lede 
Gruppe entMl. zwar MH Flatten, aber jede Platte beinhalre, emige Blbeke zum Speichem 
von Daten und einige Bldeke zum Speicbem von Paritmsinformdttonen. Der Ort, an dem 
20 Pantetsinformationen gespeleher, warden, wird duroh einen von, Bemttzer implememrerten 
Algoridunuagesteuert Wie in Systemen auf RAID-Level 4, so erfordemauoh ■ 
SchreibvorgSnge auf RAID-Leve. 5 Zugriff auf wenigstens zwei Flatten. Es varlangtjedoeh 
nichtmehzjederSchreibvorgangaufainaGruppeZugriffaufdieseibededlzierte 

PanUttsplatte wiebei Systemen auf RAID-Level 4,Dieses Merkmal bie,et d,e MoghobkeA 

25 parallele Schreibvorginge durchzufiihren. 

Wie bei RAID-Level 3, so kbonen Parita^daten in einem System auf RAID-Level 4 
Oder 5 dadureh berechne, werden, dass ein bittveiser Ezklusiv-ODER-Vorgang 
eatsprechender Telle der Ober die N Datenlaofwerke gespeichartan Daten durchgefflhr, 
wird Dajcdoch jades Pan,a«bi,,infach das Exk.usiv-ODER-Produk, aller antspreobenden 

30 Datanbits von den Datenlaufwarkan is,, W sich neuc Farita, leichter anhand der alten 
Daten und der alten Parita, sowie der neuen Daten gemaB der folgcnden Gle.chung 
ermitteln: 

neue Paritat = (alte Daten XOR neue Daten) XOR alte Pantat 



'S'^weitaus etcher als die DurchfflW. • u- . KAID - Le ™H "to 5 

e .gcus we raen mehr als zwei PlattenJese- unH c„u 
- S^= iten jedCT PIane . ^ einem * « **- das Maxtor 

Managc mraKoftware fa Hos( - ' aotwendigen A™,. 

' * Wane « on J er Id^ZT ^ H ~^ien S o ra - t 

mit einem Hostcompiiter und einer MehizaWroi^atl^^^^i^ 0 ^' 0 ^ ^ 11611 Betrieb ■: 
. "^fisKndeineaeraensctaelUnl tl • „ PJaH ^»"fi«rlcen bereftgestelh, . 

30 ^e a «e tt Wve rbin de,unde in enpI^~r tto ~^ 
schneJJen lokalen Bus verbun^n • ^ genannten ersten 

P^H^^ di dLtr d K ° ra ~ 2U ^^~e«du rcIl 
. d,e d,rek. de ra gMen erste „ sctae „ en |oka|en ^ 



ist, ein lokales Datenspeichermittel, das mit dem.genannten ersten schnellen lokalen Bus 
: verbunden ist, und einen zweiten schnellen lokalen Bus, der die genannte Paritatsassist- 
Logik mit dem genannten lokalen Datenspeichennittel verbindet, wobei die genannte 
Paritatsassist-Logik die Aufgabe hat, Daten uber den genannten zweiten schnellen lokalen 
5 Bus zu dem genannten lokalen Datenspeichermittel zu iibertragen, urn Paritatsdaten 
wahiend des Plattenarray-Schreibvorgangs zu bestimmen. 

Die vorliegende Erfindung stellt vorteilhafterweise neue und nutzliche Plattenarray- 
Controller-Hardwarearchitektur bereit, die die Controllerleistung verbessert. 

Die vorliegende Erfindung stellt auch eine Plattenarray-ControHer-Architektur 
1 0 bereit, die gleichzeitige Datenbewegungen und Paritatsberechnungen sowie die parallele 
Ausfuhrung von zeituiiabhangigen Aufgaben zulasst. 

Es ist ein weiterer Vorteil der vorliegenden Erfindung, dass ein Plattenarray- 
Controller bereitgestellt werden kann, der einzigartige Paritatsassist-Logik und einen 
' dedrzierten lokalen Speicher zum Ausfuhren von Paritatserzeugungs- urid 

15 Datenrekonsmiktionsvorgangenbeinhaltet... 

Femer kann die vorliegende Erfindung vorteilhafterweise eine neue und nutzliche 

• Plattenarray-Controllerarchitektur bereitstellen, die es zulasst, dass gleichzeitig 
Datenblockbewegungen zwischen Speicher-E/A-Geraten und einem lokalen Speicher, • 
Datenblockbewegungen zwischen einem Hbstsystem und dem lokalen Speicher, 

20 • Paritatsberechnungen und normale Array-ControUer-Prozessor-Speicherabrufvorgange ' 

ablaufen. 

. Es ist noch ein weiterer Vorteil der vorliegenden Erfindung, dass eine Plattenarray- 
Controllerarchitektur bereitgestellt werden kann, die auch einen Warteschlangenbetrieb von 
Blockbewegungen und einen Warteschlangenbetrieb fur Paritatsaufgaben ermoglicht. • 
25 Es ist zu verstehen, dass sich die Erfindung auf das Plattenarray-Steuerverfahren 

.' bezieht, das in der obigen Vorrichtungausgestaltet ist. ' _ . . 

Es kann gemaB der vorliegenden Erfindung vorzugsweise ein Plattenarray-System 
. zum Speichem von von einem Host-Computersystem empfangenen Daten und zum 

• ' Ubertragen von gespeicherten Daten zu einem Host-Computersystem bereitgestellt werden. 
30 Das Plattenarray-System beinhaltet einen ersten schnellen lokalen Bus; eine 

Schnittstellenschaltung, die den ersten schnellen lokalen Bus mit dem Host- • . 

Computersystem verbindet; eine Mehrzahl von Plattenlaufwerkselementen; wenigstens eine 
Schnittstellenschaltung, die die Mehrzahl von Plattenlaufwerkselementen mit dem ersten 



lo^o, Bus vorbiode,; ei„e F*,^ ^ mft 
JOKaien Bus, der die Paritatsassist-Lneriir m ,-t ^ 
Be ta ebder mt de mgenamtoratoS!telIen 

Host^omputereystem .„,„*,„„ „ Memeoten ^ When, von von .tan 

efaem Hos, r '"^^ Date " -»d zum OborO.gen gespeioherter D atenni 

schnelJen JoJcalen Bus verbundenen Komponenteri zusteuern 
genannten okaJen Datenspeicheimittel Ober « 
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u n prTBusDerzweiteBusisteineDualport-Speicherschnittstelle. 

fferte PC-SchnUlstelle, die mh der vollen Gesebvnndigken des schneUen . 

PC Bus — gen. Der — ilW- « *«« >" — 50 ^ PC1 " ^ - 
Paritatsvorgangegleichzeitigablaufenkonnen 

«*le bine bober BandbreHe, eine gep„*e«c P«—^«^ 

Icnzeiug abiaufen ^ D« Arcbitetar des P!™,-**^ erUubt 

« Oder seines ^oziierten Speiebers, so dass der o-WB-*~ «- *• 
rrozessor „. ^ av .Controller-Konliguranon 

. Verwaltnng von Array-Tasksteuerung ftei .St. Die Array SDeicher .E/A- 
, v v„n AblaufvonDatenblockbewegungenzwischenSpeicnerfc/A . 
20 ermSgliebt den gle.ctee.t.gen Ablauf von Da scs r.Verbindun g =n 
W. und lokalem Speieher; DatenbloCd^egungen ^.scben Host-SCSI Ver 

l,o W = m Speicbe r ,Pan, t sbe«^ • 
Wanescbiangenvo^gen Kr B.ockbewegungen.nnd Warrescbiangenvorgangen <* 

, • Hochleistunas-ParitatsfimktionsaxchitekturgemaB einer Ausgestaltung 
30 PCI-Bus und eme Hochleistungs rmnaw 

dervorliegendenErfindungverwendet. ^ 

Die listen heute in Gebrauch befindlichen Pla_Syste m e s.d » s*h 

■ ^lessen un dhabeneine^ ' 
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Managementsoftware, so dass da* c 

einfach,* Mode- »*S»"« von d KK „ Axbeiten emla^ ^ Ein 

Plattenlaufwerkseinheiten, von-denen fiinf ais DRIVE A bis DRIVE F , • c 

1 0 DRIVE A bis DRIVE E Ob, J £, " * ^ 

von dcrFachwel, vemaoden.' ntnaltoeo Kompoaenttft wercta, 



» A^vWb.DRIVEAbisDRIVEE ^ ,? ~ I2 »*"»~W 

zum F Wm Speicher 110 Md *« Pariaologik 1 08 

'. ^ns WcrenDatenMcheinOTAmiy . Ausftii -^-Wo^od^ 

Gememsame Komponenten der in Fie 1 und 9 «. * gszinem. 

_ g ' 1 Und 2 fi ezei Sten Systeme sind u.a.: schneller PCT 

Bus 102, Host-SCSI-SchnittstelJe 104, SCSI-Bus 14 SCSI r * , L taeJJerPCI - 
b-n2E,SCSI-Bussell4Abisll4E P, „ , , SC ^ LaU ^ erkssc ^«steIle„ 1 12A 

4A h, s 1 1 4E, Plattenlaufwerkselemente DRIVE A bis DRIVE E 



> » * 
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Prozessor 1 06 und Prozessorspei cher 1 1 8. 

Die in Fig..2 gezeigte Array-Conttoller-Architektur verbessert jedoch die bisher 
bekannten Airay-Controller-Architekturen, indem sie die Paritatslogik und den lokalen 
Speicher, die zur Paritatserzeugung und zur Rekonstruktion von Daten verwendet werden, 

5 vom PCI-Bus 1 02 entfemt. Die in Fig. 2 gezeigte Controller-Architektur bietet eine 
unabhangige Paritatsassist-Maschine 132 und einen lokalen Speicher 136, die durch eine 
Dualport-Speicherschnittstelle 1 34 miteinander verbunden sind. Eine schnelle PCI-. 
Schnittstelle 130 ermoglicht die Ubertragung von Daten zwischen dem PCI-Bus 102 und 
dem lokalen Speicher 136. 

10 PCI-Busschnittstelle 130, Paritatsrechenmaschine 132 und Dualport-. 

■ Speicherschnittstelle 134 sind auf einem einzigen RAID-Paritatsassist-Chip 128 zusammen 
integriert dargestellt. Diese drei Kompohenten arbeiten jedoch unabhangig auf koordinierte 
Weise, um schnelle Datenspeicherung und Paritatsberechnungen durchzufuhren und dabei 
ein Minimum an Host-CPU-Zyklen zu brauchen. Ein schneller lokaler Bus 13 8 verbindet 

15 den RAID-Paritatsassist-Chip mit dem lokalen Speicher 136. 

Bei einem Plattenschreibvorgang werden Datenblocke vom Host-S CSI-Kanal 1 4 • 
empfangen und im lokalen Speicher 136 gespeichert. Die Paritatsassist-Maschine 1 3.2 liest 
die Daten, berechnet die Paritatsinfoimationen und schreibt sie zuriick auf den lokalen 
Speicher 136. Die endgtlltigen Datenblocke werden dann vom lokalen Speicher 136 auf die 

20 entsprechenden Plattenlaufwerke geschrieben. ■ 

Plattenlesevorgange beginnen mit Daten, die von den Plattenlaufwerken auf den 
lokalen Speicher 136 bewegt wurden. Diese Daten werden dann auf den Host-SCSI-Kanal 
14 iibertragen, es sei denn, die Paritatsinfonnationen werden zum Rekonstruieren der Daten 
benotigt. 

25 Da die Architektur auBerst spe'icherintensiv ist, ist der lokale Speicher 1 3 6 fur einen 

Betrieb mit hoher Bandbreite. mit einer 72 Bit breiten Schnittstelle organisiert. Es sind auch 
. verschachtelte Zyklen fur maximale Leistung moglich. Das Speichersystem kann mit der 
vollen Taktfrequenz des RAID-Paritatsassist-Chip arbeiten. Auch eine Auffrischsteuerung 
ist vorhanden, so dass der wirtschaftliche dynamische RAM zur Speicherung verwendet 

30 werden kann. Ein Abschaltmpdus ist vorgesehen, um. die Speicherdaten im Falle eines 

Stromausfalls zu schutzen. 

Das PCI-Schnittstellenmodul 130 kann mit vollen PCI-Bus- 
Ubertragungsgeschwindigkeiten arbeiten. Es ist so ausgelegt, dass es auf alle 



• • • • •••»« A 

• *•• • • • • * « 

• • *£• » • • • t * 

» *• • • • • » « m 

• • • • • * » * g • • •' 
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Busbetriebsarten von einem Byte bis zu Bursts bei voller Bandbreite reagiert. Das PCI- 
Modul entbalt ein 128 Byte FIFO-Register zum Speichern von Daten, die vom Pti-Bus 
akzeptiert wurden. So kann die PCI-Ubertragung auch dann fortgesetzt werden, auch wenn 
der lokale Speicher vorilbergehend nicht zur Verfugung steht. 
5 Die Paritatsassist-Maschine 132 bearbeitet Daten, die im lokalen Speicher 136 • 

gespeichert sind. Sie. berechnet Paritat biindelweise unter Verwendung eines 128-Byte-FIFO 
zum Speichem der Zwischenergebnisse. Die Zwischenergebnisse werden nicht zuruck auf 
den lokalen Speicher geschrieben. Zur Erzielung maximaler Leistung verwaltet die 
Steuerlogik fur die Paritatsassist-Maschine Zeiger auf jeden benotigten Datenblock. Die 
10 Paritatsmaschine arbeitet mit der vollen Geschwindigkeit des lokalen Speicherbusses zur • 
Bereitstellung der schnellstmQglichen Leistung fur die Speicherbandbreite.' 

Die Paritatsassist-Maschine enthait vier separate Abschnitte, die. es zulassen, dass 
zusatzliche Tasks in eine Warteschlange eingereiht werden, wahrend eine Task ausgefuhrt 
wird.Jede Task fuhrt ihr eigenes Steuer- und Statusregister, so dass durch Taskplanung ' 
1 5 keine gerade ausgefiihrte Task gestort wird. Es stehen mehrere Konfigurationsoptionen zur 
VerfUgung, urn die Paritatsmaschine an die Array-Organisation anzupassen. Die Maschine. 
kann als einzelne Maschine konfiguriert werden, die an breiten Arrays mit einer Breite von 
bis zu 22+1 Laufwerken w^rkt, oder als eine Gruppe von vier Maschinen, die mit Arrays 
mit Breiten von bis zu 4+1 Laufwerken arbeitet, Eine Zwischenbetriebsart sieht eine 
20 .Gruppe von zwei Maschinen mit bis zu 10+] Laufwerken vor. ' 

Die Paritatsmaschine beinhaltet Exklusiv-ODER-Logik fur RAID 5 und RAID 3 
ParitatserzeugungZ-prufung sowie Bewegungs- und Nullprilfbetriebsarten. •• 

Einer der wichtigsten Teile der Architektur ist der von ihr ermoglichte' ' 
• zeitunabhangige Betrieb. Es braucht auf keine Datenblocke gleichzeitig fur 
25 Paritatsberechnungen zugegriffen zu werden. Plattenvorgange, die mehrere 

• Plattenlaufwerke Qberspannen, kSnnen geplant und von jedenvGerat schnellstm6glich 
ausgefuhrt werden. Unverwandte Plattenvorgange konnen auch dann fortgesetzt werden, 
wenn noch nicht alle Laufwerksvorgange fur eine einzelne Task abgeschlossen sind. Diese 
Unabhangigkeit verbessert die Leistung des langsamsten Teils des Systems, des 
30 Plattenlaufwerks. Sie vereinfacht auch die Software-Task des Verwaltens konkurrierender 
Hardware-Betriebsmittelanforderungen. 

Die Erfindung ermoglicht zeitunabhangige Datenblockbewegungen, 
zeitunabhangige Paritatsberechnungen, in Warteschlangen befindliche RAID-Vorgange (bis 
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, 3 Tasksineiner Wartesohlange), PC^un.svorgange e. vo „ Oe— gket, 
4 BWI=^«us) sowie Pariatsbereehnungen bei voile, Gesehwtnd.gker, (4 Byte/ 
Tak^us).Temsr ist die Architektur durch die Addition zusStzlieher RAID-Paritatsassist- 
Chips undzusatzlicheriokaletSpeicherkepaziatskaltetbar. _ 
5 So^etsichtiich.da.sdievotiie^deErfindungeinePlaUenattay-Con^.et. 

A^^.tit^gige.Speiehe^^PuffentvonDatensowtee.te _ 

l^ge Parit^eebenntaschine b— die einen ParaUelbetneb von A^v-T^s 
"e^Pati^eennnngenundSpeiehetoioeUbe^en.onned.sd.e 

. . „ j y,.f~-,, die CPU far die Verwaltung von Array- 
CPU Oder ihr Speieher gestbrt wird, und befrert die u mr . 

tv ff.„ ha rte Airay-Controller-Konfiguration erlaubt einen gle.ohzeit.gen . 
10 TasksKoenmg.D.eoffenbarteA^yCo . ^ md 1o ^ ot Speieher, 

AblaufvoaDatenblockbewegung=nz*.sch=nSp=.cher-E/AGerat 

Datenblockbewegongen zwiacben Host-SCSI-Verbindungen und iokalem S P e,oh=r, . 
PantEtsbereebnungen; und notntalen CPU-Speieberabrufen, ur eine Warteaohlar.se 
e^ih.eVorginge&B.ooKbe^genundindneW^soUan^e.ngerethtc 

15 Voreange fur Paritatstasks. . 

Somi, v*d verstSndlieh, dass die Erfindung etn Plattenarxay-System bere„st=llen 

fcmn, das Folgendes umfasst; einen ersten sehneUen lokalen Bus; etne 

™„ ensebaUung, die den genannten ersten sehneUen lokaien Boa ntl, dem g enann,en 

Hos.-Computersys.em verbindet; eine Menrzahl von HattenlaufweAsoletnen^n; 

20 wenigstens eine SohnittateUensohaltung, die die genannte Menrzahl von 

Plattenlatmverltselementen mit dem genannten ersten schnellen lokalen Bus ^^J^^^^ 
eioen Prozessor, der mi. dem genannten ersten sehneUen lokalen Bus vetbunden ist urn den 
Beuieb det mi, dem genannten ersten sebneUen lokalen Bus vetbtmdenen 
SICU en.;mi,de„fo 1 gendenVerbesserun g en,um f assend. eine 

n die mi, dem g enann,en ersten sohne.ien lokalen Bus verbunden ist; euien lokalen Spe,he r 

„ ,oka,eo Speiober verbindet, wobei die genannte Pa ri ^s.st-Log,k Dnten 
■ ^o^enzwei.ensobnei.emokalenBuszudem.enanttten.lokalenSpo.oher 

' 30 b e„o,ig, v-etden, und die auf dem genann,en .okaien Speiober gespe.ohetten Daton 
manipuiie* om Pari.,, bei den genannten A^SehreibvorgMngen zu.enrutteln. 

Dl5 Erfmdung is, niob, auf die Einze.bei.en der obigen Aus g es,a„ung be g renzt und 
K Ut zu vetstehen, dass versobiedene Andemngen innetbaib des Umfan g s der be.begenden 
^spruche moglich sind. 
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«*H- lokalen Bus ( , 02 , verbal T'. ** "* *" •— * «*« 

einenzweiteh . 

20 2 - Vc "ri':lMungiiachAnspruchl bsid^j- ' 

- ■ . * * 

Ex k ,u si v-OD BR . Schaltl , ng ^ ' ** .*« * MlIMM* (132) ' " 
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